Recientemente, el equipo de Meta AI presentó el modelo de arquitectura de predicción de incrustaciones conjuntas de video (V-JEPA), una innovación destinada a impulsar el desarrollo de la inteligencia artificial. Los humanos procesan naturalmente la información de las señales visuales para identificar objetos y patrones de movimiento a su alrededor. Un objetivo importante del aprendizaje automático es desentrañar los principios subyacentes que permiten el aprendizaje no supervisado en los humanos. Los investigadores propusieron una hipótesis clave: el principio de predicción de características, que sugiere que las representaciones de las entradas sensoriales continuas deberían poder predecirse mutuamente. Los métodos de investigación anteriores, a través del análisis de características lentas...

Twelve Labs ha desarrollado una innovadora tecnología de IA capaz de analizar y buscar contenido de video. Los usuarios pueden buscar contenido específico, como "¿Cuándo entra la persona con camisa roja al restaurante?", y también obtener resúmenes automáticos de clips de video. Esta tecnología ha atraído la atención de importantes inversores como Nvidia, Samsung e Intel. En comparación con las tecnologías existentes como Gemini de Google, la mayor ventaja de Twelve Labs es su alta capacidad de personalización; los clientes pueden entrenar el modelo con sus propios datos para adaptarse a sus necesidades específicas.

NVIDIA ha anunciado recientemente su nuevo plan de IA para la búsqueda y el resumen de videos (AI Blueprint for Video Search and Summarization), una solución tecnológica que revolucionará las limitaciones del análisis de video tradicional. A diferencia de los modelos antiguos que solo podían identificar objetos preestablecidos, la nueva solución logra una comprensión profunda e interacción natural con el contenido del video mediante la combinación de IA generativa, modelos de lenguaje visual (VLM) y modelos de lenguaje extenso (LLM). Este sistema se basa en N

Actualmente, los modelos de lenguaje grandes multimodales (MLLM) han logrado avances significativos en el campo de la comprensión de video, pero el procesamiento de videos extra largos sigue siendo un desafío. Esto se debe a que los MLLM suelen tener dificultades para procesar miles de tokens visuales que superan la longitud máxima del contexto y se ven afectados por la atenuación de la información causada por la agregación de tokens. Al mismo tiempo, la gran cantidad de tokens de video también genera un alto coste computacional. Para abordar estos problemas, el Instituto de Inteligencia Artificial de Beijing, en colaboración con varias universidades como la Universidad Jiao Tong de Shanghai, la Universidad del Pueblo Chino, la Universidad de Pekín y la Universidad de Ciencia y Tecnología de Beijing, ha propuesto Vide...

Recientemente, el equipo de investigación de Salesforce AI presentó un nuevo modelo de lenguaje multimodal: BLIP-3-Video. Con el rápido aumento del contenido de video, la forma de procesar eficientemente los datos de video se ha convertido en un problema urgente. Este modelo tiene como objetivo mejorar la eficiencia y la eficacia de la comprensión de video, siendo aplicable a diversas industrias, desde la conducción autónoma hasta el entretenimiento. Los modelos tradicionales de comprensión de video suelen procesar el video fotograma a fotograma, generando una gran cantidad de información visual. Este proceso no solo consume una gran cantidad de recursos computacionales, sino que también limita en gran medida...

Este artículo presenta VideoPrism, un codificador de video desarrollado por el equipo de investigación de Google. Este modelo logra un rendimiento de vanguardia en diversas tareas de comprensión de video con un único modelo, incluyendo la clasificación de videos, la localización y la generación de subtítulos, e incluso respondiendo preguntas relacionadas con el video. El método de entrenamiento implica tres etapas: mostrar videos diversos, utilizar pares de video-subtítulos de alta calidad y entrenar el modelo con texto paralelo con ruido. La cantidad de datos de entrenamiento es enorme, incluyendo 36 millones de datos de alta calidad y 5820 millones de pares de datos. VideoPrism se basa en...

智谱AI anuncia una actualización de código abierto del modelo CogVLM2-Video, un modelo que ha logrado un progreso significativo en el campo de la comprensión de video. CogVLM2-Video resuelve las limitaciones de los modelos de comprensión de video existentes en el manejo de la pérdida de información temporal al introducir imágenes de video multi-frame y marcas de tiempo como entrada del codificador. El modelo utiliza un método automatizado para construir datos de localización temporal, generando 30,000 preguntas y respuestas de video relacionadas con el tiempo, lo que permite entrenar un modelo que alcanza el rendimiento más avanzado en los benchmarks públicos de comprensión de video.